#Scaffold Optimization - AI Papers Daily

SIA: Self Improving AI with Harness & Weight Updates

SIA：通过支架与权重联合更新的自改进AI

🧭 Agent 自改进与测试时训练 ★ 深度解读

Hexo Labs · University of Oxford

提出反馈智能体同时更新任务智能体的支架（提示、工具）和模型权重（LoRA）的联合自改进循环，在三个领域全面超越纯支架迭代

📌 工作参考价值（4 点）

1. 在Agent开发中可引入「反馈智能体」动态选择改进动作：当纯提示/工具优化（支架更新）收益停滞时，自动触发模型权重微调（RL训练），实现支架与模型权重的协同进化。
2. 对商品分类、法律条款匹配等细粒度分类场景，可直接套用「支架迭代到权重更新」的模式：先用支架优化解析、重排逻辑，再用GRPO按组优势进行LoRA微调，可显著提升准确率（如从50%到70%）。
3. 针对GPU算子优化、超参调优等探索性任务，可借鉴「支架探索+权重内化」思路：支架负责搜索空间构建和编译/运行反馈解析，权重通过强化学习内化领域设计模式，获得超越人工调参的性能。
4. 工程上，反馈智能体根据奖励密度自动选择训练算法（PPO/GRPO/entropic weighting/DPO等）的设计，可直接复用为动态训练策略选择器，降低RL训练调参成本。

Agent | 2026-05-26 | cs.CL | score 8/10

LLM Agent 大规模轨迹诊断系统 Insights Generator

🧭 Agent 多智能体诊断与优化 ★ 深度解读

Scale AI

多智能体系统通过迭代假设-验证循环，从海量执行轨迹中自动发现并量化系统性行为模式，生成有证据支撑的诊断报告

📌 工作参考价值（4 点）

大规模轨迹分析的工程参考：将轨迹数据预处理成结构化 Parquet，构建 schema 缓存和向量索引，Agent 只通过 Python REPL 调用统计工具而非直接读取原始文本，可大幅降低上下文消耗，适用于电商 Agent 日志的海量诊断。
假设-验证分离的 Agent 角色设计：Scout 负责在小样本中探索模式提出候选假设，Investigator 在全量数据上进行统计验证并计算效应量（p 值、odd ratio），这种分工可迁移至推荐系统 Agent 的 A/B 实验诊断或行为差异分析。
报告驱动的 scaffold 优化：人类专家使用 IG 报告后，scaffold 性能提升 30.4 pp（对比无报告基线），且报告深度与证据质量直接影响修改效率；在自动优化循环中，每轮重新生成分析报告可以避免纯 scaffold 搜索的退化。可借鉴该闭环思想，将生成式推荐或电商 Agent 的离线评估日志自动转化为 prompt 或工具链的改进建议。
评估框架的复用：提出的四维度评估（覆盖度、配对胜率、质量评分、人工干预提升）可作为自建 Agent 诊断系统效果的度量标准，尤其适合验证诊断报告对工程师开发效率的实际价值。

Agent | 2026-05-20 | cs.AI | score 8/10